面向数据科学任务的自适应评分准则过程奖励智能体
🧭 Agent 过程监督 · 自适应评估准则
Carnegie Mellon University · Microsoft
AdaPRA 用自适应 rubrics 的过程奖励智能体审计并纠正数据科学 agent 的中间过程错误，显著提升排行榜百分位
📌 工作参考价值（4 点）
- 用可执行的检查（而非仅看轨迹）构建过程监督信号：在电商/推荐 agent 中可对召回策略、query 改写、特征拼接等中间步骤做"提交完整性""防泄漏验证""预算利用"等自动核对，提前捕获 silent errors。
- 自适应 rubrics：从简单任务或历史成功运行中挖掘 rubric 模板，再按任务难度/失败样本动态调整；对应推荐系统可按场景或品类生成评估检查项，并利用线上 badcase 持续更新。
- 跨模型迁移：用强模型运行结果挖掘 rubrics 去监督弱模型，或反之；可用于 reward model 构建、蒸馏或 RLHF，降低人工标注成本。
- 持久化 workspace 与跨尝试记忆：多次尝试间缓存探索结果、失败原因和已试策略，避免重复跑 baseline 和 EDA；推荐 agent 或搜索 agent 可复用已尝试的召回/排序策略，优化固定预算利用。
DeltaTTG：用 Token-to-Go 进度计训练多轮 Agent
🧭 多轮 Agent RL · 过程信用分配 ★ 深度解读
Nanyang Technological University · Renmin University of China
训练一个可复用的 Token-to-Go 进度计，将稀疏回合优势按步骤进步量重分配，提升多轮 Agent RL
📌 工作参考价值（4 点）
- 在电商/搜索多轮 Agent 训练中，可直接复用 TTG 思路：把用户会话中“从当前搜索/推荐状态到最终下单/满意还需生成的 token 数”作为剩余工作量监督，从线上日志低成本构建 progress meter，无需人工标注步骤好坏。
- 冻结一个跨策略/跨模型共享的 progress meter，用 Δ_t = c_t - c_{t+1} 将回合级 outcome advantage 在步骤间重分配；保持 trajectory advantage 符号和 token 均值不变，工程上只改 loss 中的 advantage 分配，容易接入现有 GRPO/DAPO 等 RLVR 框架。
- 采用 sign-aware 分配 + 均匀混合（ρ=0.2）+ token multiplier cap（M=5）可稳定训练，尤其是在多轮推荐/对话场景正负样本不平衡时；消融表明去掉 sign-aware 或 uniform mixing 都会掉点。
- progress meter 可用于线上推理的动作选择：在候选 query/商品/工具调用上试执行并用 meter 估计进步，选择进步最大的分支，论文显示在多个 actor scale 上都能提升成功率并减少交互步数。
LeanPRM：基于 Lean 的自然语言证明过程监督
🧭 过程监督 · Lean 自动标注
University of Texas at Austin · University of California, Los Angeles · New York University
利用 Lean 形式化证明自动生成自然语言证明的逐步正确性标签，训练过程监督验证器，步级准确率从 48.2 提升至 74.7
📌 工作参考价值（4 点）
- 对 Agent/多步决策轨迹，可借鉴「可执行环境自动打标签」：用沙盒、规则引擎或领域知识库对中间步骤做形式化校验，替代人工标注，低成本构建过程监督数据。
- 「分离形式错误与语义错误」的过滤模型思路值得迁移：先自动生成大量轨迹标签，再训练一个二分类器剔除仅因语法/格式失败但推理正确的负样本，避免污染奖励模型。
- 训练过程奖励模型时，可以混合少量人工标注与大量自动标注；本工作证明在没有人类标注的情况下，自动标签也能显著优于 PRM800K 人工标注，适合快速迭代线上推理链路。
- 对于电商推荐理由生成、搜索 query 改写等有可执行校验（如转化、点击、库存）的场景，可尝试用业务指标为中间步骤提供弱监督，再微调 LLM 做步骤级打分。
协调过程监督与结果奖励信用：智能体策略优化 TASPO 框架
🧭 Agent RL 信用分配优化 ★ 深度解读
Zhejiang University
TASPO 用轨迹对齐的特权信息在动作粒度重新分配 GRPO 结果优势，使过程监督不改变结果奖励方向
📌 工作参考价值（4 点）
- 在电商导购/搜索 Agent 的 RL 训练中，若只有订单、成交等稀疏最终奖励，不要直接把历史成功轨迹作为 teacher 做 SFT/蒸馏目标；可以先离线提取「条件规则/证据」并只对当前会话路径匹配，保留适用的特权指导，否则回退 GRPO，这样能避免无关路径信息带来的梯度冲突。
- 信用分配粒度应放在可执行动作（query、工具调用、商品筛选、消息推送等）而非 token 粒度；把 token 概率变化聚合成 action 级分数、再做 trajectory 内去均值与 tanh 重加权，可显著降低训练方差、提升收敛稳定性，并减少成功轨迹所需交互步数。
- 如果团队已有 GRPO 训练流程，TASPO 的改造很轻：只把 trajectory advantage A_i 换成 eA_i = A_i * w_i，保持 w_i 为正、有界 [1-ε,1+ε]、均值 1。这样 outcome 决定方向与平均更新力度，过程信号只做分配，避免了新增蒸馏 loss 和目标冲突，无需额外环境交互。
- 构造 PI 的外部 analyzer 可以是 frozen 大模型，且对模型选择不敏感（DeepSeek/GLM/Qwen 等差异小），工程上可以低成本复用；但前提是必须从 verified successful sibling rollouts 提取证据，并对目标 trajectory 做显式匹配。
SkillCoach：自演化量规评估与增强 Agent 技能使用
🧭 Agent 技能使用的过程评估与自我演化量规 ★ 深度解读
HKUST(GZ) · JD.COM
提出自演化量规框架，从技能选择、遵循、组合与反思四个维度诊断并提升 Agent 在含干扰项库中的技能使用能力
📌 工作参考价值（4 点）
- 过程与结果解耦诊断：在 Agent 系统中将外部验证器（最终结果）与过程评估分离，用轨迹级别的技能选择、步骤遵循、组合正确性和反射检查四个维度定位故障，避免仅用成功率掩盖错误的技能调用或跳步。
- 自演化量规作为数据过滤器：用自我演化的量规筛选 SFT 训练轨迹，要求轨迹同时满足过程质量分≥0.95 且通过验证，显著优于仅用结果过滤，可迁移到电商导购、广告脚本执行等技能驱动场景，提升训练数据质量。
- 干扰项压力测试实用价值：在技能库中混入语义相似但无关的干扰技能，评估 Agent 的技能选择退化边界与崩溃点；电商搜索/推荐中的意图路由、工具选择可借鉴这种方法，提前发现模型在候选集膨胀时的脆弱性。
- 维度级消融指导训练重点：实验表明去除关键步骤遵循损失最大、组成顺序次之，反射较弱，可据此调整过程监督的维度权重或设计分步训练策略，重点关注步骤遵循与技能选择。
OpenRCA 2.0：从结果标签到因果过程监督
🧭 LLM Agent 评估 · 因果过程监督
The Chinese University of Hong Kong, Shenzhen · Xi'an Jiaotong University · Lero, University of Limerick
首个带逐步因果标注的根因分析基准，暴露 LLM 智能体“无根基诊断”问题
📌 工作参考价值（4 点）
- 对推荐系统故障诊断 Agent，不能只看最终根因准确率，需引入逐步因果验证，检测“无根基诊断”模式，提升决策可靠性。
- 构建内部诊断数据集时，可借鉴正向验证思路：通过注入已知故障，记录因果传播路径，为 Agent 提供步骤级别的监督信号。
- 推荐系统 Agent 面对复杂用户行为序列或系统日志时，同样存在“猜对但推理错”的风险，应在设计中加入链式证据输出与自动核验机制。
- 长上下文理解和多工具协同是 Agent 核心瓶颈，建议在推荐场景中针对性优化对长用户轨迹、多源数据的处理能力。
潜在链式思维中有效监督的信息论分析
🧭 潜在链式推理的监督优化
Ningbo Institute of Digital Twin, Eastern Institute of Technology · Department of Computing, The Hong Kong Polytechnic University
信息论分析揭示潜在CoT双坍塌，提出轨迹与空间监督，发现生成式重建优于几何压缩，建立信息-性能绑定
📌 工作参考价值（4 点）
- 在搜索推荐系统中若采用隐式CoT进行多步推理（如用户意图推断、推荐理由生成），不应仅依赖结果监督，应引入轨迹监督向中间隐状态注入步骤级信号，并利用空间监督保持隐空间语义结构，防止语义漂移。
- 避免将隐状态强行对齐到离散符号（如MSE回归到思维token），该做法会压缩推理空间；改用生成式重建（自解码器生成推理步骤）作为更灵活的语义锚，可更好地保留信息容量，提升复杂推荐任务的推理质量。
- 可借鉴统一潜在探针（ULP）的设计，通过测量隐轨迹与显式推理步骤的互信息，监控推荐模型中隐式推理过程的信息保真度，作为训练质量的评价指标，指导优化方向。
- 论文证实推理准确率与隐链信息保真度强绑定，因此在需要多步逻辑推理的推荐场景（如用户兴趣演化建模）中，应优先优化隐状态与推理逻辑的互信息，而非仅关注最终推荐指标。
从正确性到效用：基于增益的LLM推理前缀评估
🧭 过程监督 · 前缀效用评估 · 数学推理 ★ 深度解读
Fudan University · Shanghai Innovation Institute
用轻量级学生模型群估计前缀对求解率的边际增益，训练前缀效用模型，在Best-of-N、束搜索和RL中均有效提升推理性能。
📌 工作参考价值（4 点）
- 用轻量模型群估计前缀效用：无需人工标注步骤正确性，通过对比有/无前缀时多个小模型的解题率变化得到增益，再转为偏好对训练评估模型。电商场景中，对用户行为序列的部分轨迹（例如浏览前缀）评估能否提高最终转化率，类似地可采用轻量模型群采样转化率增益来构建排序信号。
- 增益偏好对构建训练数据：将前缀效用差转为 pairwise 偏好，使用 Bradley-Terry 损失训练标量评估头，过滤掉高噪声对比对。在生成式推荐中，评估生成物品序列的中间状态效用时，可用同样方法从偏好对中学习价值模型，避免直接回归噪声大的转化率。
- 提供过程级监督缓解RL稀疏奖励：将前缀效用差作为过程优势（dense advantage），与稀疏的最终答案奖励结合，稳定RL训练且防止reward hacking。Agent 行为决策中，可对子任务完成度建立类似的增益模型，提供中间奖励以加速策略学习。
- 弱到强泛化：方法训练出的前缀效用模型能迁移到更强的策略模型，且支持按下游模型能力调整学生模型权重。这意味着在业务中，可用低成本小模型群构建评估信号，再去指导更强大的生产模型的行为搜索或生成。
推理轨迹前缀的保形认证
🧭 推理可靠性 · 保形风险控制 ★ 深度解读
Rice University
提出 CROP 方法，为推理步骤序列提供前缀污染风险的有限样本边际控制，保留有效中间推理以提升下游修复
📌 工作参考价值（4 点）
- 在多步 Agent 决策中，可用 CROP 对已执行的步骤序列进行风险认证，返回风险可控的“安全前缀”，将剩余步骤交给人工审查或更高精度的修复模块，避免全盘回滚。
- 生成式推荐（GenRec）在生成物品序列（如购物车推荐）时，可以用类似前缀认证思路，将生成过程按步骤拆分，用 process reward model 标注风险，仅保留低风险前缀再继续生成，提高推荐列表的整体可信度。
- 工程实现上，CROP 是 verify-agnostic 的轻量校准层，只需将任意步骤级风险评分（PRM、logits、heuristics）输入即可获得保形保证，可直接插入现有的 LLM 推理管线，无需修改模型。
- 实验揭示了“步骤 AUROC 高 ≠ 前缀实用性好”这一重要现象，可迁移至电商搜索排序中：离线排序指标（如 AUC）可能无法反映线上截断位置的效用，评估应直接面向最终截断策略校准。
Search-E1：自蒸馏驱动搜索增强推理的自进化
🧭 搜索增强推理 Agent 自进化训练 ★ 深度解读
通过交替 GRPO 与离线自蒸馏，从同一问题的正负轨迹对中提取 token 级监督，无需外部教师或奖励模型
📌 工作参考价值（4 点）
- 从轨迹对中生成 token 级细粒度信号：在搜索、对话等多步 Agent 训练中，正例轨迹的某一步往往比负例轨迹的对应步更优。可以用离线自蒸馏从正负轨迹对中学习 step-wise 差异，无需额外训练过程奖励模型，降低工程成本。
- GRPO 与自蒸馏交替训练，避免干扰在线探索：Search-E1 的离线自蒸馏轮次完全独立于 GRPO 的 rollout 采样，不改变 RL 的训练动态，可以作为现有 GRPO 训练流程的插件式增强，适用于电商搜索、推荐等场景中逐步提升 agent 的决策粒度。
- 利用同一模型的 privileged context 进行知识蒸馏：将更优轨迹作为 prompt 前缀送入同一模型，让学生分布逼近教师分布，不需额外存储或调用外部模型，适合线上模型迭代。
- 多轮自进化循环，适合持续优化：随着训练的进行，可以从日益稳定的 rollout 池中挖掘新的 pair 持续进行自蒸馏，适合推荐系统或搜索 Agent 在用户反馈闭环中在线持续学习。
PAGER：弥合精准几何 GUI 控制中的语义-执行鸿沟
🧭 精准 GUI 代理 · 像素级控制
University of Chinese Academy of Sciences · Shanghai Artificial Intelligence Laboratory · China University of Petroleum-Beijing
提出拓扑感知代理 PAGER，通过像素级监督微调与精度对齐强化学习，解决点级精确 GUI 构造问题
📌 工作参考价值（4 点）
- 像素级过程监督数据集：PAGE Bench 包含 224K 过程监督像素动作，可为电商设计自动化、交互式推荐布局等场景提供细粒度操作标注范例，直接用于训练可执行动作语法。
- 精度对齐强化学习：通过状态条件几何反馈缓解 rollout 曝光偏差，该思想可迁移到任何序列决策任务，适合在电商推荐的多步交互中纠正累积误差。
- 拓扑感知依赖规划：将复杂构造任务分解为依赖结构子任务再执行，类似思路可用于电商页面生成时先规划组件关系再渲染，提高结构化输出的准确性。
- 语义-执行鸿沟的警示：提醒在 Agent 开发中，即使语义理解准确率很高，几何级精度缺失仍会导致任务失败，需在设计奖励和度量时引入执行精度指标。